- 综合排序
- 最热优先
- 最新优先
- 来自专栏搜索引擎技术研讨
ES Cache: Page Cache
OS 使用当前空闲的RAM来保存page cache, 用来加速对硬盘的访问. page cache在内核实现, 对应用程序几乎是透明的. 一般操作系统会把全部空闲的内存用作page cache. 缓存内容 page cache的缓存内容就是索引文件. 可配置项 可以配置page cache预先读取. 主要是解决操作系统重启后造成的page cache失效问题. Q&A page cache怎么集成到ES的? 当Lucene读取索引文件的时候, 会自动使用page cache做索引文件的缓存. page cache的存储粒度是什么? 内存满了, 有些page cache被kernel通过类似LRU的算法释放了. 操作系统重启. page cache的淘汰算法是怎么样的?
1.6K40编辑于 2022-04-25 - 来自专栏linux驱动个人学习
Page Cache与Page回写
一个inode对应一个page cache对象，一个page cache对象包含多个物理page。 Page Cache Page cache由内存中的物理page组成，其内容对应磁盘上的block。page cache的大小是动态变化的，可以扩大，也可以在内存不足时缩小。 Cache回收 Page cache的另一个重要工作是释放page，从而释放内存空间。cache回收的任务是选择合适的page释放，并且如果page是dirty的，需要将page写回到磁盘中再释放。 page_tree保存了该page cache中所有的page，使用基数树(radix Tree)来存储。i_mmap是保存了所有映射到当前page cache（物理的）的虚拟内存区域（VMA）。 如果请求的数据不在该page cache中，那么内核就会创建一个新的page加入page cache中，并将要请求的磁盘数据缓存到该page中，同时将page返回给调用者。
1.8K20发布于 2019-01-03 - 来自专栏linux驱动个人学习
linux Page cache和buffer cache正解
,page cache和buffer cache的概念曾经困扰过我,但是仔细分析一下,这两个概念实际上非常的清晰。 如果能够了解到这两个cache的本质,那么我们在分析io问题的时候可能会更加得心应手。 Page cache实际上是针对文件系统的,是文件的缓存,在文件层面上的数据会缓存到page cache。 当page cache的数据需要刷新时,page cache中的数据交给buffer cache,但是这种处理在2.6版本的内核之后就变的很简单了,没有真正意义上的cache操作。 简单说来,page cache用来缓存文件数据,buffer cache用来缓存磁盘数据。 从上面的分析可以看出,2.6内核中的buffer cache和page cache在处理上是保持一致的,但是存在概念上的差别,page cache针对文件的cache,buffer是针对磁盘块数据的cache
3.6K20发布于 2019-01-03 - 来自专栏linjinhe的专栏
Page Cache的落地问题
一次正常的写流程 一次写数据的典型流程（不考虑异常和其它特殊情况）： 1、数据在用户态的 buffer 中，调用 write 将数据传给内核； 2、数据在 Page Cache 中，返回写入的字节数（ 第二步如果返回成功，说明数据已经到达操作系统的Page Cache，可以保证的是如果进程挂了，但是操作系统没挂，数据不会丢失。 Page Cache 的异步刷新 那么，如果不调用fsync或其它类似功能的接口，Page Cache 是什么时候刷回磁盘的呢？ 简单总结一下，有两种情况： 1、脏页太多。 2、脏页太久。 参考资料 Linux Man Page Better Linux Disk Caching & Performance with vm.dirty_ratio & vm.dirty_background_ratio
2.5K71发布于 2018-06-06 - 来自专栏JavaEdge
【图解Linux内核】Page Cache
这些问题，很可能是由于Page Cache管理不到位引起的，因为Page Cache管理不当除了会增加系统I/O吞吐外，还会引起业务性能抖动。 认识Page Cache最简单的方式，就是用数据说话，通过具体的数据你会更加深入地理解Page Cache的本质。 为什么需要Page Cache，Page Cache的产生和回收是什么样的。 什么是Page Cache？ Page Cache到底是属于内核还是属于用户？ 红色的地方就是Page Cache，Page Cache是内核管理的内存，它属于内核。 很多同学喜欢用free查看系统中有多少Page Cache，根据buff/cache判断存在多少Page Cache。free也是通过解析/proc/meminfo得出这些统计数据的。 直接使用Direct I/O绕过Page Cache，不使用Cache了，省的去管它了。 为什么需要Page Cache？
6.3K10发布于 2021-10-18 - 来自专栏mazhen.tech
深入理解 Page Cache
缓存文件内容的内存就是 Page Cache。 Page Cache 不仅能加速对文件内容的访问，对共享库建立 Page Cache，可以在多个进程间共享，避免每个进程都单独加载，造成宝贵内存资源的浪费。 ，判断文件内容是否已经在 Page Cache 中，如果内容不存在，需要从磁盘中去读取并创建 Page Cache 页。 访问过的文件都被 Page Cache 缓存，内存最终会被耗尽，那什么时候回收 Page Cache 呢？ 写在最后 Page Cache 机制涉及了进程空间，文件系统，内存管理等多个内核功能，Page Cache 就像一条线将这几部分串在了一起。
3.1K21编辑于 2023-11-24 - 来自专栏JavaEdge
【图解Linux内核】Page Cache
这些问题，很可能是由于Page Cache管理不到位引起的，因为Page Cache管理不当除了会增加系统I/O吞吐外，还会引起业务性能抖动。 认识Page Cache最简单的方式，就是用数据说话，通过具体的数据你会更加深入地理解Page Cache的本质。 为什么需要Page Cache，Page Cache的产生和回收是什么样的。 什么是Page Cache？ Page Cache到底是属于内核还是属于用户？ 红色的地方就是Page Cache，Page Cache是内核管理的内存，它属于内核。 很多同学喜欢用free查看系统中有多少Page Cache，根据buff/cache判断存在多少Page Cache。free也是通过解析/proc/meminfo得出这些统计数据的。 直接使用Direct I/O绕过Page Cache，不使用Cache了，省的去管它了。 为什么需要Page Cache？
5.6K20编辑于 2021-12-07 - 来自专栏JavaEdge
Linux系统中的Page cache和Buffer cache
由于修改了页表，尽管原来的页仍然在 page cache，但是已经不再属于该内存映射。而新复制的页也不会插入page cache，而是添加到匿名页反向映射数据结构。 假设我们通过文件系统操作文件，那么文件将被缓存到Page Cache。 若需要刷新文件，Page Cache将交给Buffer Cache去完成，因为Buffer Cache就是缓存磁盘块的。 所以直接去操作文件，那就是Page Cache区缓存 用dd等命令直接操作磁盘块，就是Buffer Cache缓存的东西 Page cache实际上是针对文件系统的，是文件的缓存，在文件层面上的数据会缓存到 page cache。 当page cache的数据需要刷新时，page cache中的数据交给buffer cache，但是这种处理在2.6版本的内核之后就变的很简单了，没有真正意义上的cache操作。
2.4K20发布于 2021-10-18 - 来自专栏JavaEdge
Linux系统中的Page cache和Buffer cache
由于修改了页表，尽管原来的页仍然在 page cache，但是已经不再属于该内存映射。而新复制的页也不会插入page cache，而是添加到匿名页反向映射数据结构。 假设我们通过文件系统操作文件，那么文件将被缓存到Page Cache。 若需要刷新文件，Page Cache将交给Buffer Cache去完成，因为Buffer Cache就是缓存磁盘块的。 所以直接去操作文件，那就是Page Cache区缓存 用dd等命令直接操作磁盘块，就是Buffer Cache缓存的东西 Page cache实际上是针对文件系统的，是文件的缓存，在文件层面上的数据会缓存到 page cache。 当page cache的数据需要刷新时，page cache中的数据交给buffer cache，但是这种处理在2.6版本的内核之后就变的很简单了，没有真正意义上的cache操作。
3.7K40编辑于 2021-12-07 - 来自专栏nobody
读《Linux Page Cache mini book》
《Linux Page Cache mini book》https://biriukov.dev/docs/page-cache/ 引言 Linux Page Cache 是操作系统中核心的内存管理机制之一 Page Cache 核心概念 定义： Page Cache 是基于内存页（通常为4KB）的缓存机制，用于存储从磁盘读取的文件数据。 NoSQL数据库：如MongoDB，通过配置Page Cache大小优化读写吞吐量。 编译与构建工具： 编译大型项目时，Page Cache可缓存源代码和中间文件，加速编译过程。 6. 高级技术点补充 Page Cache与文件系统： 不同文件系统（如ext4、XFS）对Page Cache的支持存在差异，需结合具体场景优化。 Page Cache与内存管理： Slab分配器：Page Cache与其他内核对象（如dentry、inode）共享内存资源，需平衡各部分开销。
53610编辑于 2025-05-22 - 来自专栏ADAS性能优化
Page Cache, the Affair Between Memory and Files
Happily, both problems can be dealt with in one shot: the page cache, where the kernel stores page-sized First, even though this program uses regular read calls, three 4KB page frames are now in the page cache The page cache must handle that case. Due to the page cache architecture, when a program calls write() bytes are simply copied to the page cache and the page is marked dirty.
44710编辑于 2022-05-13 - 来自专栏一个会写诗的程序员的博客
Page Cache 与 Kafka 那些事儿
Cache是否存在，如果不存在则需要创建； 3、Page Cache 存在后，CPU将数据从用户缓冲区拷贝到内核缓冲区，Page Cache 变为脏页（Dirty Page，内存数据页跟磁盘数据页内容不一致 Page Cache中。 然后内核将读取的数据缓存到cache中，这样后续的读请求就可以命中cache了。 page可以只缓存一个文件部分的内容，不需要把整个文件都缓存进来。 Kafka 对 page cache 的利用 Kafka为什么不自己管理缓存，而非要用page cache？ 另外，如果consumer要消费的消息不在page cache里，才会去磁盘读取，并且会顺便预读出一些相邻的块放入page cache，以方便下一次读取。
4.6K51发布于 2021-03-29 - 来自专栏人人都是极客
Linux内核Page Cache和Buffer Cache关系及演化历史
两类缓存各自的作用 Page Cache Page Cache以Page为单位，缓存文件内容。缓存在Page Cache中的文件数据，能够更快的被用户读取。 而这个4k的page，就是这个文件的一个Page Cache。 第三阶段：Page Cache、Buffer Cache两者融合 介于上述Page Cache、Buffer Cache分离设计的弊端，Linux-2.4版本中对Page Cache、Buffer Cache [注意] ：这里的Page Cache与Buffer Cache的融合，是针对文件这一层面的Page Cache与Buffer Cache的融合。 对于跨层的：File层面的Page Cache和裸设备Buffer Cache，虽然都统一到了基于Page的实现，但File的Page Cache和该文件对应的Block在裸设备层访问的Buffer Cache
3K30发布于 2021-10-12 - 来自专栏人人都是极客
深入理解Linux 的Page Cache
Page Cache 1.1 Page Cache 是什么？ 为了理解 Page Cache，我们不妨先看一下 Linux 的文件 I/O 系统，如下图所示： Figure1. Linux 文件 I/O 系统 上图中，红色部分为 Page Cache。可见 Page Cache 的本质是由 Linux 内核管理的内存区域。 Cache page 是内存管理分配的基本单位， Page Cache 由多个 page 构成。 因此，我们现在提起 Page Cache，基本上都同时指 Page Cache 和 buffer cache 两者，本文之后也不再区分，直接统称为 Page Cache。 不过，在程序挂了，例如被 kill -9，Page Cache 中的数据操作系统还是会确保落盘； 3. 为什么使用 Page Cache 与为什么不使用 Page Cache?
4.7K30发布于 2021-08-25 - 来自专栏LINUX阅码场
Linux内核Page Cache和Buffer Cache关系及演化历史
两类缓存各自的作用 Page Cache Page Cache以Page为单位，缓存文件内容。缓存在Page Cache中的文件数据，能够更快的被用户读取。 4k的page，就是这个文件的一个Page Cache。 第三阶段：Page Cache、Buffer Cache两者融合 介于上述Page Cache、Buffer Cache分离设计的弊端，Linux-2.4版本中对Page Cache、Buffer Cache [注意] ：这里的Page Cache与Buffer Cache的融合，是针对文件这一层面的Page Cache与Buffer Cache的融合。 这种情况下，一个物理磁盘Block上的数据，仍然对应了Linux内核中的两份Page：一个是通过文件层访问的File的Page Cache(Page Cache)；一个是通过裸设备层访问的Page Cache
4.6K71发布于 2021-07-09 - 来自专栏贝塔博客
django cache_page 装饰器 自定义cache_key
位于from django.views.decorators.cache import cache_page的这个cache_page是django提供的缓存页面的方法，首先需要在settings.py @cache_page(60 * 10) def index(request): ... 虽然使用很方便，但是这个cache_page生成的key 非常的长，而且不能自定义缓存的key，在使用上带来一些不便。 所以下面介绍如何 让@cache_page支持自定义的key，我们这里不会对django的源码修改。我们自己添加一个utils.py类。写一个类似的@cache_page即可。 caches = CacheHandler() cache = caches[alias] def cache_page(timeout=-1, cache_key=None): """
1.2K20发布于 2020-03-17 - 来自专栏后端进阶
聊聊 page cache 与 Kafka 之间的事儿
有很多文章已经对这个问题给出了回答，但本文只重点研究其中的一个方向，即对page cache的使用。先简单地认识一下Linux系统中的page cache（顺便也认识一下buffer cache）。 在Linux 2.4版本的内核之前，page cache与buffer cache是完全分离的。 因此，我们现在提起page cache，基本上都同时指page cache和buffer cache两者，本文之后也不再区分，直接统称为page cache。 Kafka对page cache的利用 Kafka为什么不自己管理缓存，而非要用page cache？ 另外，如果consumer要消费的消息不在page cache里，才会去磁盘读取，并且会顺便预读出一些相邻的块放入page cache，以方便下一次读取。
1K30发布于 2021-09-02 - 来自专栏大数据成神之路
聊聊page cache与Kafka之间的事儿
有很多文章已经对这个问题给出了回答，但本文只重点研究其中的一个方向，即对page cache的使用。先简单地认识一下Linux系统中的page cache（顺便也认识一下buffer cache）。 在Linux 2.4版本的内核之前，page cache与buffer cache是完全分离的。 因此，我们现在提起page cache，基本上都同时指page cache和buffer cache两者，本文之后也不再区分，直接统称为page cache。 Kafka对page cache的利用 Kafka为什么不自己管理缓存，而非要用page cache？ 另外，如果consumer要消费的消息不在page cache里，才会去磁盘读取，并且会顺便预读出一些相邻的块放入page cache，以方便下一次读取。
5.6K41发布于 2019-08-16 - 来自专栏TopCoder
深入理解Linux VFS和Page Cache
PageCache Page cache是通过将磁盘中的数据缓存到内存中，从而减少磁盘I/O操作，从而提高性能。 此外，还要确保在page cache中的数据更改时能够被同步到磁盘上，后者被称为page回写（page writeback）。 一个inode对应一个page cache对象，一个page cache对象包含多个物理page。 当内核发起一个读请求时（例如进程发起read()请求），首先会检查请求的数据是否缓存到了page cache中，如果有，那么直接从内存中读取，不需要访问磁盘，这被称为cache命中（cache hit） page cache另一个主要工作是回收page释放内存空间，此时会选择合适的page进行释放，如果是脏页会先同步到磁盘然后释放。此时是如何选择cache页的呢？
3.6K21发布于 2020-04-21 - 来自专栏大数据技术博文
学大数据必懂系列之Page Cache
文件系统通过目录项，页缓存树，查询Page Cache是否存在，如果存在则直接读取，避免了对物理磁盘I/O操作。 Page Cache不存在产生缺页中断，CPU向DMA发出控制指令 DMA 控制器将数据从主存或硬盘拷贝到内核空间（kernel space）的缓冲区（read buffer）； 4. 用户进程由内核态切换回用户态，获得文件数据 写入流程 应用程序发起写请求，触发系统调用write()函数，用户态切换为内核态； 文件系统通过目录项，页缓存树，查询 Page Cache是否存在，如果不存在则需要创建 ； Page Cache 存在后，CPU将数据从用户缓冲区拷贝到内核缓冲区，Page Cache 变为脏页（Dirty Page，内存数据页跟磁盘数据页内容不一致），写流程返回； 用户主动触发刷盘或者达到特定条件内核触发刷盘 比如大数据高性能消息队列组件Kafka之所以高性能其中之一的因素就在于它将Cache技术用到了极致， Kafka 使用Page Cache作为缓存而不是用JVM缓存，包含以下原因： JVM 中的一切皆对象
2K20编辑于 2022-11-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号